Een eerste vermelding van het kasteel Middelheim dateert van 1342. Vanaf de zestiende eeuw hebben tal van Antwerpse families er hun zomerresidentie gehad. Het kasteel wordt in de 18de eeuw omgebouwd in Lodewijk XIV-stijl naar een ontwerp van de Parijse architect Gilles Barnabé Guimard, tevens medeontwerper van het Koningsplein en het Koninklijk park met omgeving te Brussel. Sindsdien heeft het Middelheim geen noemenswaardige veranderingen meer ondergaan.
Van 1820 tot 1842 was ridder E. Parthon de Von eigenaar van het kasteel, een verwoed plantenliefhebber die Middelheim inrichtte met serres en oranjerie. De stad Antwerpen kocht het goed van de familie Le Grelle, eigenaars van 1842 tot 1909.
Het Middelheimpark, zwaar beschadigd tijdens de Tweede Wereldoorlog, werd hersteld en in 1950 geopend als "Openluchtmuseum voor Beeldhouwkunst" met een vaste tentoonstelling van talrijke beeldhouwwerken van binnen- en buitenlandse kunstenaars. Ondertussen werden delen van het terrein ter beschikking gesteld voor oprichting van het Middelheimziekenhuis, de Universiteit Antwerpen en het Pastoraal en Theologisch Centrum. Thans is kasteel Middelheim een museumcafé.